Task-Focused Memorization for Multimodal Agents
面向多模态Agent的任务聚焦记忆
🧭 多模态Agent长期记忆 · Task-focused Memorization
ByteDance Seed · Fudan University
提出基于强化学习的记忆策略学习框架，使多模态Agent动态选择任务相关记忆内容，提升流式VQA准确率
📌 工作参考价值（4 点）
- Agent记忆选择策略可复用：在电商客服或购物助手中，可将用户交互日志视为连续流，借鉴TaskMem的二阶段训练：先预训练记忆编码器保证信息压缩质量，上线后根据任务奖励（如回复满意度）在线微调Adapter，让记忆聚焦于用户偏好、未解决诉求等关键信号。
- RL奖励设计思路：用近期线上任务自动构建奖励模型，避免人工标注，适合电商Agent动态变化的场景。可将此思路用于对话状态追踪或推荐解释生成中，引导记忆模块捕捉高价值上下文。
- Adapter隔离基座模型：仅在基座MLLM上训练轻量Adapter来调整记忆策略，保持原模型能力不变，利于快速迭代和A/B测试。在电商推荐系统中，类似做法可用于微调序列模型以选择性保留关键用户行为，而不破坏预训练表示。
- 评估范式可迁移：将静态数据集改造为流式、仅依赖记忆的问答基准，能更真实反映记忆模块有效性，可用于评估用户长期兴趣建模中序列压缩/记忆模块的效果。